Quando visita un sito, lo spider registra il testo di ogni pagina (la principale e le sotto-pagine) all'interno del del database del motore. Esso poi continua la visita di tutti i link esterni. Il fatto che seguano i link esterni spiega il fatto che i motori di ricerca siano capaci di trovare il vostro sito indipendentemente dal fatto che abbiate registrato o meno il vostro URL da loro. Registrare l'URL del tuo sito, tuttavia, velocizza il processo.

I robot poi rivisiteranno periodicamente il vostro sito per aggiornare l'informazione registrata. Il fatto che il robot torni a visitare periodicamente il link permette ad alcuni motori di ricerca di non assillarvi con richieste di informazioni sui link decaduti: quando il robot cerca senza successo di aggiornare l'informazione su un link decaduto, realizza che esso non esiste più. Per verificare se un indice Web è un motore di ricerca oppure un altro tipo di directory, basta dedurlo dal tipo di informazione che esso richiede quando aggiungete il vostro URL:  un vero motore di ricerca avrà bisogno solamente dell'indirizzo Web; l'agente di indicizzazione si prenderà cura del resto.